【レポート】次世代の分析プラットフォーム – Amazon Redshift – 最新アップデート #AWSSummit

こんにちは、加藤です。

AWS Summit Tokyo 2019 3日目に行われたセッション「次世代の分析プラットフォーム - Amazon Redshift - 最新アップデート」のレポートを書きましたのでご覧頂ければと思います。

登壇者

Amazon Web Services, Inc. Data Warehouse Specialist SA

Tony Gibbs

迅速に拡張できない、パフォーマンスと同時実行性能のトレードオフを求められるデータウェアハウスは企業にとって選択する理由がありません。Amazon Redshift は急増するデータに対して、安定した高速なパフォーマンス、高いユーザおよびクエリの同時実行性能を提供します。このセッションでは Amazon Redshift の最新アップデートとともに、近日リリース予定の新機能に関してもご紹介します。データウェアハウスの Amazon Redshift とデータレイクの Amazon S3 を利用して、ストレージとコンピュートリソースを自動的かつオンデマンドで拡張する方法、あらゆるクラスターの規模においても最適なパフォーマンスを提供する、インテリジェントなメンテナンスおよび管理機能についてもご説明します。

レポート

主にre:Invent前後、もしくは最近アップデートされた機能についての説明でした。

• Amazon Redshift Spectrumについて
  • Amazon S3のデータを直接クエリできる（JOINも可能）
  • 以前はCOPYコマンドで必要なデータを読み込んでから、Redshift内でクエリを発行する必要があった
• Concurrency Scalingについて
  • 主にAmazon Redshiftが苦手とする大量の並列処理実行時などに、負荷があがると自動的に別なクラスタが生成され、そちらでも処理を捌いてくれるような仕組み
  • 大量のキューが発生する状況に有効
  • 24時間に一度、1時間分は無料で利用できる
• Short Query Acceleration
  • 処理時間が長いクエリ、短いクエリが入り乱れる状況で、あらかじめ実行前に短いものを判断し、先に実行するなどして効率よく捌く仕組み（機械学習によってクエリの実行時間を予測）
  • 短いクエリ=Short Queryと判断されたものは専用の高速なキューにルーティングされる
• Redshift Adviserについて
  • 1日に一度スキャニング処理が走り、現状の設定に対してパフォーマンスやコスト面をよりよくするためのアドバイスが受け取れる
  • 例えば、お勧めのソートキー等が提示される。
    • その他のアドバイス項目についてはこちらの資料が参考になります（ 20190122 AWS Black Belt Online Seminar Amazon Redshift Update ）
• 自動で実行されるようになったVacuumやAnalyzeについて
  • 今までマニュアルでの実行が必要だったAnalyzeやVacuumが自動で実行されるようになった
  • ただし、Vacuumに関してはソートはマニュアル実行が必要。
  • いずれもはマニュアル実行に戻すことも可能。
• Query Editor
  • マネジメントコンソール上から直接SQLクエリを発行可能になった（注：一部非対応のインスタンスタイプあり）
• Elastic Resizeについて
  • データ転送の仕組みが変わったことで、Classic Resizeと比べてリサイズ中に仕様が制限される時間が数分間まで短くなる（Classic~は数十分から数時間かかっていた）
  • （注：ただし、インスタンスタイプの変更はElastic Resizeではできないようです。その他、増減するノード数など、実施には一定の条件があります。）
• AWS Schema Conversion Toolについて
  • 他DBMSからAmazon Redshiftへ移行する際に、互換フォーマットに置き換える際のサポートとなるツール
    • ソースDB、ターケットDBの組み合わせについては公式の案内を参照（ AWS Schema Conversion Tool | AWS ）
• AWS Database Migration Serviceについて
  • 他DBMSからのAmazon Redshiftへの移行を行う際に利用可能
  • 6ヶ月は無料で利用可能
• ストアドプロシージャに関して
  • 先月、PL/pgSQL形式のストアドプロシージャに対応した
• AWS Key Management Serviceとの連携
  • エンドツーエンドの暗号化を実現
• AWS Lake Formationとの連携
  • まだ「AWS Lake Formation」が未リリースだがこちらとの連携も可能になる予定

さいごに

ここ2年ほどの間にかなりの機能強化、仕様の変更が起こっていることが分かるセッションでした。個人的には始めに使い始めてからしばらく間が空いていたため、Auto VacuumやConcurrency Scalingの話には驚きでした。しばらく使っていなかった方。ぜひ、もう一度キャッチアップしてみてください。